package cn.doitedu.day01.rdd

import cn.doitedu.day01.utils.SparkUtil
import org.apache.spark.rdd.RDD

/**
 * @Date 22.3.28
 * @Created by HANGGE
 * @Description
 */
object C01_MakeRDDFromFile {
  def main(args: Array[String]): Unit = {
    val sc = SparkUtil.getSc
    /**
     * 加载文件路径创建RDD
     *  1  本地路径
     *  2  HDFS路径
     */
    val localFilerRDD: RDD[String] = sc.textFile("data/word.txt")
    val hdfsFileRDD = sc.textFile("hdfs://linux01:8020/data/wc/")
    // 调用转换算子
    val rdd: RDD[String] = hdfsFileRDD.flatMap(_.split("\\s+"))
   rdd.count()
    // 调用行动算子  加载数据 输出
    rdd.foreach(println)
    // 释放环境
    sc.stop()
  }
}
